管理手动任务

重要

本文中含有需要您注意的重要提示信息,忽略该信息可能对您的业务造成影响,请务必仔细阅读。

任务定义与手动任务定义有所区别,任务定义是工作流定义中的一个任务节点,而手动任务定义能够独立创建并执行。本文为您介绍如何创建并管理手动任务。

使用说明

  • 手动任务能够独立创建并支持手动运行。

  • 在工作流定义中,可以在任务节点中关联已经创建的手动任务。

创建并运行手动任务

说明

创建的手动任务,支持在工作流定义中进行关联,具体操作请参见管理工作流定义

  1. 进入项目管理页面。

    1. 使用阿里云账号(主账号)或RAM用户登录E-MapReduce控制台

    2. 在左侧导航栏,选择EMR Workbench > Workflow

    3. 在Workflow页面单击目标工作空间操作列的控制台

  2. 在左侧导航栏,选择数据开发 > 手动任务定义

  3. 手动任务定义页面,单击创建手动任务

  4. 在弹出的对话框中,配置相关的参数,单击确定

    本文以SHELL任务类型为例,其他任务类型详情请参见任务类型

    参数

    说明

    任务名称

    任务的名称。

    任务类型

    选择待创建的任务类型。

    描述

    当前节点的功能描述。

    任务提交节点

    • 调度资源组节点(默认):任务在Workflow的调度资源组节点提交。

    • EMR集群worker节点(提交到Yarn执行):任务在EMR集群的Worker节点提交,占用一个YARN Container。

      警告

      该模式会直接影响EMR集群的文件系统或运行环境,请谨慎操作。

      使用该模式,您还可以选择配置以下参数:

      • 调度队列:指定任务提交的YARN队列。

      • 任务执行容器内存(MB):指定任务执行容器的内存。默认值为1024。

      • 虚拟核数:指定任务执行容器的虚拟核数(vCores)。默认值为1。

      • 优先级:指定任务执行容器的优先级(0-100)。默认值为0,数值越大,优先级越高。

      • 执行用户:默认提交任务的用户为dolphinscheduler。标准集群(非高安全集群),如果需要设置执行用户,请确保YARN服务包含如下配置项:

        • yarn.nodemanager.container-executor.class=org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor

        • yarn.nodemanager.linux-container-executor.nonsecure-mode.limit-users=false

    脚本

    您自定义的Shell程序。

    资源

    任务执行时所需的资源文件。如果其他参数中引用了资源文件,需要选择在资源中心文件管理页面,创建或者上传的文件。

    自定义参数

    任务自定义参数,会替换脚本中${变量}的内容。更多参数配置信息,请参见参数说明

  5. 手动任务定义页面,单击目标任务操作列的运行

  6. 运行手动任务对话框中,选择已有的调度资源组,系统会根据您选定的调度资源组自动匹配执行集群,单击确定

手动任务定义操作

手动任务定义页面,您可以进行以下操作。

操作

说明

编辑

只能编辑未被上线状态的工作流关联的手动任务。

运行

运行当前手动任务。

删除

只能删除未被上线状态的工作流关联的手动任务。

手动任务实例操作

手动任务实例页面,您可以进行以下操作。

操作

说明

停止

对正在运行的手动任务实例进行停止操作。

查看日志

查看日志信息。

相关文档

如果需要创建调度资源组,详情请参见管理调度资源组